Quân Nguyên đã chiếm được Kiến Khang, Uông Lập Tín thất vọng và qua đời. Lúc này Giả Tự Đạo bí thế, đã phải xin trả lại ấn tín. Tri Xu mật viện Trần Nghi Trung dâng sớ xin giết Tự Đạo[2]. Thái hoàng thái hậu nói

Tự Đạo cần lao suốt ba triều, chỉ có tội với một triều, không thể bỏ lễ đại thần được.

Nhưng cũng xuống chiếu bãi chức Bình chương, Đô đốc, giáng Lễ toàn quan sứ. Tháng 3 ÂL, triều đình xóa bỏ hết mọi việc làm hại dân của Tự Đạo trước kia, ruộng trả về điền chủ; lại khôi phục quan tước cho Ngô Tiềm, Hướng Sĩ Bích. Dùng Vương Dược, Trần Nghi Trung làm Tả, Hữu thừa tướng. Ông Ứng Long bị đày ra Cát Dương quan rồi bị giết. Bọn Vương Đình, Liêu Oánh Trung bị buộc phải tự sát. Phan Văn Khanh, Trần Quá, Trần Kiên là tay chân của Tự Đạo cũng bị đàn hặc và bị đuổi khỏi triều. Tháng 4 ÂL, Cao Tư Đắc lại xin giết Tự Đạo, thái hoàng thái hậu không theo. Tự Đạo dâng sớ xin bảo toàn và kể tội Hạ Quý, Tôn Hổ Thần. Triều đình giáng quan của Tự Đạo ba cấp, lệnh cho về đất Việt chịu tang[20]. Tự Đạo nấn ná không đi. Tháng 5 ÂL, Tả Thừa tướng Vương Dược dâng sớ kể tội Tự Đạo bất trung, bất hiếu. Tháng 7 năm 1275, Hoàng Dung và Vương Ứng Lân xin đày Tự Đạo ra Lân châu, không theo[2]. Vương Dược tâu

Quyền thần gây họa cho bản triều, không ai bằng Tự Đạo. Thần đây lấy lời thẳng mà tâu, bệ hạ nghe mà không làm thì biết lấy gì để trình bày với mọi người, lấy gì để tạ thiên hạ.

Bèn đày Tự Đạo ra Vụ châu. Người Vụ châu nghe Tự Đạo tới bèn dẫn nhau bao vây giữa đường mà đuổi đi. Giám sát ngự sử Tôn Vinh dâng sớ nói phạt nhẹ, mới đày Tự Đạo ra phủ Kiến Ninh[21]. Ông Hợp lại nói, phủ Kiến Ninh là quê của Chu Hi, để Tự Đạo ra đó thì không xứng, Vương Ứng Long và Hoàng Dung cũng dâng sớ nhưng không được. Cuối cùng thị ngự sử Trần Văn Long, Trần Cảnh Hành, Từ Trực Phương, Tôn Vanh Tẩu và giám sat ngự sử Du Chiết cùng liên danh tấu, bèn tịch biên gia sản của Tự Đạo, giáng Đoàn luyện sứ Cao châu, an trí ở Tuần châu[2].

Ông nội ruột của Cung Đế là Phúc vương Dữ Nhuế[22] rất oán hận Tự Đạo, muốn tìm một người áp giải có thể giết Tự Đạo trên đường đi. Có huyện úy Trịnh Hổ Thần tình nguyện làm việc đó. Lúc Tự Đạo lên đường có đem theo 10 tì thiếp, Hổ Thần đuổi hết đi và tống Tự Đạo lên xe. Cho vứt hết mui xe mặc dù khi đó vào thu trời đã lạnh. Lại lệnh cho xa phu xướng những bài ca của Hàng châu, nhiều lần còn réo tên Tự Đạo lên mà chửi. Đến một ngôi chùa nọ, Hổ Thần thấy trên tường có ghi mấy câu thơ của Ngô Tiềm khi trước viết lúc bị đày đến đây, liền hỏi

Giả đoàn luyện à, Ngô Thừa tướng cũng từng đến chỗ này sao?

Tự Đạo thẹn không nói gì. Lúc đó triều đình lại có người dâng sớ nói gia súc trong nhà Tự Đạo được đeo ngự vật, xin chém Tự Đạo; thái hậu sai sứ đến hỏi. Sứ giả chưa tới nơi thì vào một ngày tháng 8 ÂL, khi Tự Đạo tới gần am Mộc Miên, Chương châu, Hổ Thần chỉ dòng nước nói Tự Đạo có thể nhảy xuống được đấy, Tự Đạo không nghe, bảo

Thái hoàng từng hứa sẽ không giết ta. Muốn ta chết thì phải có chiếu chỉ.

Hổ Thần nói

Ta vì thiên hạ giết Tự Đạo, có chết cũng không hối hận.[2][18]

Lập tức giết Tự Đạo. Năm đó Tự Đạo 63 tuổi, nắm quyền 17 năm. Bốn năm sau đó thì triều Tống cũng bị diệt vong.